Làm quan lần thứ nhất

Năm Thiệu Trị thứ 2 (1842), Phạm Phú Thứ dự thi Hương, đỗ Giải nguyên khi mới 21 tuổi. Năm sau (Quý Mão, 1843), dự thi Hội, ông cũng đỗ đầu (Hội nguyên). Khi vào thi Đình, ông đỗ luôn Tiến sĩ cập đệ [5]

Buổi đầu (1844), ông được bổ làm Biên tu. Năm sau (1845), thăng ông làm Tri phủ Lạng Giang (nay thuộc tỉnh Bắc Giang), rồi thăng làm Thị Độc. Một thời gian sau, vì có tang cha, ông xin nghỉ chức.

Năm Tự Đức 2 (1849), ông được chuyển qua Viện Tập hiền làm chức Khởi cư chú (thư ký ghi lời nói và hành động của vua), rồi sang tòa Kinh diên (phòng giảng sách cho vua).

Năm 1850, thấy nhà vua ham vui chơi, lơ là việc triều chính, ông mạnh dạn dâng sớ can gián, nên bị cách chức và giam ở nhà lao Thừa Phủ (Huế).Xét án, triều đình khép ông vào tội đồ (đày đi xa); song nhà vua cho rằng đó chỉ là "lời nói khí quá khích, không nở bỏ, nhưng răn về (tính) nóng bậy", nên ông chỉ bị đày làm "thừa nông dịch" (lính trạm chuyên chạy về việc canh nông) ở trạm Thừa Nông (Huế).

Phục chức, làm quan lần thứ nhì

Năm 1852, ông được khôi phục hàm Biên tu (hàm lúc sơ bổ). Năm 1854, cử ông làm Tri phủ Tư Nghĩa thuộc tỉnh Quảng Ngãi. Tại đây, ông tổ chức và vận động dân chúng lập được hơn năm mươi kho nghĩa thương để phòng khi chẩn tế cho dân. Với việc làm đó, ông được cử giữ chức Viên ngoại lang ở bộ Lễ.

Năm 1855, ông được điều sang công tác quân sự để giải quyết cuộc bạo động của người Thượng ở Đá Vách (thuộc tỉnh Quảng Ngãi). Sau khi dẹp yên, ông được thăng chức Án sát sứ ở hai tỉnh là Thanh Hóa và Hà Nội.

Năm 1858, ông được chuyển về làm việc ở Nội các tại Huế [6]

Năm 1859, ông xin về quê để dưỡng bệnh và cải táng mộ cha. Khi trở lại triều, ông dâng sớ xin đắp đê Cu Nhí, đào sông Ái Nghĩa, đồng thời xây dựng công sự bố phòng và luyện tập quân sự ở tỉnh nhà (Quảng Nam).

Năm 1860, từ Nội các, ông được thăng chức Thị lang bộ Lại, rồi thăng làm Thự Tham tri của bộ này.

Đi sứ sang châu Âu

Đầu năm 1863, sau khi vua Tự Đức xét trong mấy điều khoản trong Hòa ước Nhâm Tuất còn có chỗ chưa thỏa, liền sung Phạm Phú Thứ làm Khâm sai vào ngay Gia Định, hội với Phan Thanh Giản và Lâm Duy Hiệp (hay Thiếp) để đàm phán với quan soái Pháp và quan đại thần nước Y Pha Nho (Tây Ban Nha)[7]. Không hoàn thành nhiệm vụ, ông phải bị giáng một cấp. Tháng 5 (âm lịch) năm này, ông được cử làm Phó sứ, cùng với Chánh sứ Phan Thanh Giản và Bồi sứ Ngụy Khắc Đản, sang Pháp và Tây Ban Nha với nhiệm vụ xin chuộc lại ba tỉnh miền Đông Nam Kỳ.

Tháng 2 (âm lịch) năm 1864, sứ bộ về đến Huế. Sau đó, ngoài bản tường trình cốt để thuyết phục vua Tự Đức mau "cải cách việc học tập và phát triển công nghiệp" [8], Phạm Phú Thứ còn dâng lên vua hai tác phẩm do ông làm trong chuyến đi, đó là Tây hành nhật ký và Tây Phù thi thảo. Vua xem cảm động, có làm một bài thơ để ghi lại việc này. Được tin cậy, nhà vua thăng ông làm Tham tri bộ Lại.

Năm 1865, thăng ông chức Thự Thượng thư bộ Hộ, sung Cơ mật viện đại thần. Ở chức việc này, ông đã mật tâu xin đặt 4 Tuyên phủ sứ ở Quảng Trị, Bình Định, Nghệ An và Hưng Hóa; đồng thời xin đặt "trường giao dịch chợ búa, sửa thuế thương chính, lập thổ tù" ở các nơi ấy để làm "mạnh vững nơi biên phòng, nhưng việc rút cục không thành".

Năm 1866, quan soái Pháp phái tàu đến cửa Thuận An (Huế) đưa thư đòi "quản luôn ba tỉnh là Vĩnh Long, An Giang và Hà Tiên", vì ở đây "bọn trộm cướp thường qua lại". Nhà vua liền sai Phạm Phú Thứ và Phan Huy Vịnh đến "xin giữ giao ước cũ lâu dài" [9].

Năm 1867, Phan Thanh Giản mất, triều đình cử Phạm Phú Thứ làm người điều đình với Pháp. Song thực dân Pháp không hài lòng về cách xử sự cứng rắn của ông, còn triều đình Huế thì không hài lòng vì việc thương lượng cứ đỗ vỡ. Cuối cùng, ông bị Ngự sử đàn hặc, và bị gọi về kinh "hậu cứu" [4].

Năm 1873, vì phạm lỗi, ông lại bị giáng làm Thị lang, rồi khai phục chức Tham Tri.

Năm 1874, triều đình cho mở nhà thương chính ở Bắc Kỳ. Nhà vua cho ông "là người am hiểu, và có tài cán lão luyện", nên tháng 10 (âm lịch) năm đó, đổi ông làm Thự Tổng đốc Hải Yên (còn gọi là Hải An, gồm Hải Dương và Quảng Yên), kiêm sung Tổng lý thương chánh Đại thần.Đến nơi, gặp lúc đê huyện Văn Giang (nay thuộc Hưng Yên) vỡ, nước lũ tràn cả hai phủ là Bình Giang và Ninh Giang thuộc Hải Dương. Thấy dân đói khổ, ông lập tức xin trích năm vạn phương gạo ở kho Hưng Yên để phát chẩn. Đồng thời, lại phái thuộc hạ đem những người dân còn khỏe mạnh đến Đông Triều, Nam Sách...khẩn hoang, cày cấy kiếm sống.

Năm 1876, chuẩn cho Phạm Phú Thứ được thực thụ chức Tổng đốc Hải An. Để yên dân, ông xin đặt trường mua gạo ở chợ An Biên (thuộc huyện An Dương, Hải Phòng) và Đồ Sơn (thuộc huyện Đông Triều, tỉnh Quảng Ninh); đồng phái Thương biện là Lương Văn Tiến (anh em họ ngoại với Phú Thứ) đi hiểu dụ lưu dân, tạo công ăn việc làm cho họ, để họ thôi "càn rỡ, ngang ngược". Ngoài ra, ông còn cho khai rộng sông ở phủ Bình Giang [10], mở Nha Thương Chánh và trường học chữ Pháp ở Hải Dương vào năm 1878 [11], v.v....

Năm 1878, thăng ông làm Thự Hiệp biện Đại học sĩ, song vẫn lĩnh chức vụ cũ. Cũng trong năm này, Khâm phái ngự sử là Dương Hoàn tâu lên rằng: "Lương Văn Tiến (lúc này đang làm Giám đốc việc tuần phòng ngoài biển) cậy thế chở gạo ra ngoại quốc"...Vì vậy, Phạm Phú Thứ phải về Huế, để chữa bệnh và đợi án. Năm 1880, khi bản án dâng lên, ông bị giáng lám Quang lộc tự khanh, lĩnh chức Tham tri bộ Binh. Nhân có bệnh, ông xin về quê.